[Amazon SageMaker] 回転台を使って撮影した動画で、Amazon SageMaker Ground Truth形式のデータセット（Image Classification）を作ってみました

SIN

2020.05.13

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

1 はじめに

CX事業本部の平内(SIN)です。

Amazon SageMaker(以下、SageMaker)のビルトインアルゴリズムであるイメージ分類では、データセットにアノテーション情報が必要ないため、比較的簡単にデータセットが作成できます。

今回は、動画を撮影して、Amazon SageMaker Ground Truth（以下、Ground Truth）形式のデータを生成する仕組みを試してみました。

最初に、作業している様子です。商品の動画を継ぎ足しで撮影し、プログラムでデータ変換しています。

2 動画撮影

動画を撮影しているコードです。

mp4は、OpenCVで生成しています。

モニター上に表示されているシャッターボタンを押すと、撮影開始となり、もう一度押すと撮影終了です。'q'キーを押すまでは、追加で動画が撮影されます。

index.py

import cv2
import time
import shoot as sh
import os

# 設定
outputFileName = "/tmp/Movie/PRIME.mp4"

def main():
    # 出力先ディレクトリ作成
    path = os.path.dirname(outputFileName)
    os.makedirs(path, exist_ok=True)

    # カメラ初期化
    deviceId = 3 # Webカメラ
    height = 600
    width = 800
    cap = cv2.VideoCapture(deviceId)
    cap.set(cv2.CAP_PROP_FRAME_WIDTH, width)
    cap.set(cv2.CAP_PROP_FRAME_HEIGHT, height)

    fps = cap.get(cv2.CAP_PROP_FPS)
    width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
    height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
    print("FPS:{}　WIDTH:{}　HEIGHT:{}".format(fps, width, height))

    fourcc = cv2.VideoWriter_fourcc('m', 'p', '4', 'v')
    out = cv2.VideoWriter(outputFileName, fourcc, fps, (width, height))

    # 撮影クラス初期化    
    shoot = sh.Shoot(width, height)

    while True:

        # カメラ画像取得
        ret, frame = cap.read()
        if(frame is None):
            continue

        # 録画
        if(shoot.recording):
            out.write(frame)

        # モニター表示
        shoot.disp(frame.copy()) 

        if cv2.waitKey(1) & 0xFF == ord('q'):
            break

    cap.release()
    out.release()
    cv2.destroyAllWindows()

main()

shoot.py

import cv2

# 撮影クラス
class Shoot():
    def __init__(self, width, height):
        self.__windowName = 'Monitor'
        self.__W = int(width/30)
        self.__M = int(self.__W/4)
        self.__X = int(width/2)
        self.__Y = int(height - self.__W - self.__M * 5)
        self.__shutterColor =  (50, 50, 255)
        self.__recording = False 

    @property
    def recording(self):
        return self.__recording

    # シャッターボタンが押された時のイベント処理
    def __onMouseEvent(self, event, x, y, flags, param):
        if(event == cv2.EVENT_LBUTTONDOWN):
            print("event:{} x:{} y:{}".format(event, x, y))
            if((self.__X - self.__W) < x and x < (self.__X + self.__W)):
                if((self.__Y - self.__W) < y and y < (self.__Y + self.__W)):
                    self.__recording = not bool(self.__recording)

    # シャッターボタン
    def __dispShutter(self, frame):
        if(self.__recording):
            frame = cv2.rectangle(frame, (self.__X - 10, self.__Y - 10), (self.__X + 10, self.__Y + 10), self.__shutterColor, thickness=-1)
        else:
            frame = cv2.circle(frame, (self.__X, self.__Y), self.__W, self.__shutterColor, thickness=-1)
        frame = cv2.circle(frame, (self.__X, self.__Y), self.__W + self.__M, self.__shutterColor, thickness=2, lineType=cv2.LINE_AA)
        return frame

    # モニター画面
    def disp(self, frame):

        # シャッターボタン描画
        frame = self.__dispShutter(frame)
        cv2.imshow(self.__windowName, frame)
        cv2.setMouseCallback(self.__windowName, self.__onMouseEvent) # マウスイベント取得

outputFileNameに指定した名前でmp4が生成されます。ファイル名は、次の変換でラベル名となります。

3 データ変換

撮影した動画(mp4)から、Ground Truth形式のデータを生成しているコードです。

inputPathに指定したフォルダに複数の動画がある場合、ラベルを連番でインデックスして変換します。すべてのフレームからmaxで指定した数のフレームを均等に抽出し、画像データとしています。

import cv2
import os
import glob
import datetime
import json

# 設定
inputPath = "/tmp/Movie/"
outputPath = "/tmp/Movie/DataSet"
s3Path = 's3://sagemaker-working-bucket/my-project'
max = 200
manifest = 'output.manifest'
projectName = 'my-project'

# 出力先ディレクトリ作成
os.makedirs(outputPath, exist_ok=True)

files = glob.glob("{}/*.mp4".format(inputPath))

# output.manifest
outputText = ''

dt = datetime.datetime.now()
dateStr = dt.isoformat(timespec='microseconds')

for index, file in enumerate(files):

    movie = cv2.VideoCapture(file) 
    frameCount = int(movie.get(cv2.CAP_PROP_FRAME_COUNT))
    interval = int(frameCount/max)

    fileName = os.path.basename(file)
    baseName = os.path.splitext(fileName)[0]
    counter = 0
    for i in range(frameCount - 1):
        _, frame = movie.read()

        if(i % interval != 0):
            continue

        if(max <= counter):
            break

        c = str(i)
        imageName = "{}_{}.jpg".format(baseName, str(counter).zfill(5))
        outputFileName = "{}/{}".format(outputPath, imageName)


        dst_json = {
                "source-ref": "s3://sagemaker-working-bucket/my-project/{}".format(imageName),
                projectName: index,
                projectName + "-metadata": {
                    "confidence": 1.0,
                    "job-name": "labeling-job/project",
                    "class-name": baseName,
                    "human-annotated": "yes",
                    "creation-date": dateStr,
                    "type": "groundtruth/image-classification"
            }
        }
        outputText += json.dumps(dst_json) + '\n'

        counter += 1

        cv2.imwrite(outputFileName, frame)
        print(outputFileName) 

with open("{}/{}".format(outputPath, manifest), mode='w') as f:
    f.write(outputText)

出力されたデータです。